import redis

"""
所有使用的key都是以【爬虫名称】开头这样对于同一种spider的不同实例就会使用相同的数据块
"""

REDIS_CLS = redis.StrictRedis
REDIS_ENCODING = 'utf-8'
# Sane connection defaults.
REDIS_PARAMS = {
    'socket_timeout': 30,
    'socket_connect_timeout': 30,
    'retry_on_timeout': True,
    'encoding': REDIS_ENCODING,
}

#存取爬虫入口url的key
START_URLS_KEY = '%(name)s:start_urls'
#设置strat_urls键是集合，默认是false是列表
START_URLS_AS_SET = False

# For standalone use.
DUPEFILTER_KEY = 'dupefilter:%(timestamp)s'
#存取序列化后的item的key
PIPELINE_KEY = '%(spider)s:items'

#存取已经访问过的request请求的key: 爬虫名:dupefilter
SCHEDULER_DUPEFILTER_KEY = '%(spider)s:dupefilter'
#判断当前request请求是否重复的类
SCHEDULER_DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'

#存取经过去重待爬去的request请求的key: 爬虫名:requests
SCHEDULER_QUEUE_KEY = '%(spider)s:requests'
#获取|存取经过去重后的request请求的类,默认采用优先队列
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue'


